Topic Modeling

Latent Dirichlet allocation

Topic Modeling

Latent Dirichlet allocation

Topic Modeling: anvendelsesmuligheder

Topic modellering er en ML metode, der kan afdække skjulte topics eller tematikker i en stor samling tekst dokumenter.

• Dokument-“klynger”: automatisk gruppering af tekster i kategorier.

• Indholdsanbefaling: find (og grupper) tekster, der ligner hinanden med henblik på abefaling. “Vi tror du vil kunne lide …”

• Informationssøgning: Forbedring af søgninger, vil også at inkludere ligende tekster.

• Opsummeringer: Lav overblik over hvilke topics er de mest fremkomne.

• Monoterering: Automatiske overblik over trends (fx på SoMe).

Topic Modeling: generelle begrænsninger

• Tolkning: Topics er typiske abstrakte og kræver en kvalitativ (menneskelig) evaluering.

• Parameter-sensitivitet: Modeller kan være sensitive overfor hvordan vi specificere modellen (fx antallet af topics, som vi selv skal angive).

• Bag-of-Words antagelse: Traditionelle topic modeller arbejder med BoW representation af tekst (mere herom snart). I næste forelæsning lærer Kristian jer om, hvordan i “overkommer” dette med nyere tilgange.

Topic Modeling

Usuperviseret makinlæringsmodel

Topic modeling (1)

Usuperviseret makinlæringsmodel

Hvad er målet i usurperviseret ML?

Topic modeling (3)

Hvad er kompleksitetsreduktion, og hvad er formålet med det?

Latent Dirichlet allocation (1)

LDA er en probabilistisk generativ model, der blev introduceret af Blei, Ng, and Jordan (2003). Metoden modellere et dokuments latente topics, hvor hvert topic er repræsenteret af en fordeling over ord.

Latent Dirichlet allocation (2)

Latent Dirichlet allocation (3)

Latent Dirichlet allocation (5)

Når jeg siger at hvert topic i LDA er en “fordeling”, hvad tror I jeg mener med det?

LDA algoritmen (1)

~~Stiliseret iterativ algoritme~~ 
Input: Et sæt af dokumenter D, antal ønskede topics K
Output: Document-topic-fordeling og Topic-word-fordeling

Start:
    Initialisér tilfældigt et topic for hvert ord i alle dokumenter

    Gentag
        For hvert dokument W i M:
            For hvert ord w i dokument W:
                Fjern det nuværende topic k for ordet w

                For hvert topic k fra 1 til K:
                    Beregn sandsynlighed P(k) baseret på:
                        a. Hvor hyppigt topic k optræder i dokument W (Document-topic-fordeling)
                        b. Hvor sandsynligt ordet w er under topic k (Topic-word-fordeling)

                Vælg nyt topic k' til ordet w baseret på sandsynlighedsfordelingen P(k)

                Tildel det nye topic k' til ordet w

        Opdater Document-topic-fordeling og Topic-word-fordeling baseret på nye topic-tildelinger

    Indtil (konvergens nås: ændringerne mellem iterationer er minimale)

Returnér Document-topic-fordeling og Topic-word-fordeling
Slut

LDA algoritmen (2)

Vi bruger en afart af Bayes Theorem til LDA, hvor vi opdaterer modellens parametre (\(\theta, \phi, z\)), ved at observere data, ordene, \(w\):

\[ P(\theta, \phi, z \mid w, \alpha, \beta) = \frac{P(w \mid z, \phi)P(z \mid \theta)P(\theta \mid \alpha)P(\phi \mid \beta)}{P(w \mid \alpha, \beta)} \]

Hvor,

• \(w\) er observerede ord.

• \(z\) er latente topics.

• \(\theta\) er Document-topic fordelingen.

• \(\phi\) er Topic-word fordelingen.

• \(\alpha, \beta\) er hyperparametre.

LDA algoritmen (3.1)

Vi bruger en afart af Bayes Theorem til LDA, hvor vi opdaterer modellens parametre (\(\theta, \phi, z\)), ved at observere data, ordene, \(w\):

\[ P(\theta, \phi, z \mid w, \alpha, \beta) = \frac{P(w \mid z, \phi)P(z \mid \theta)P(\theta \mid \alpha)P(\phi \mid \beta)}{P(w \mid \alpha, \beta)} \]

LDA algoritmen (3.2)

Vi bruger en afart af Bayes Theorem til LDA, hvor vi opdaterer modellens parametre (\(\theta, \phi, z\)), ved at observere data, ordene, \(w\):

\[ P(\theta, \phi, z \mid w, \alpha, \beta) = \frac{P(w \mid z, \phi)P(z \mid \theta)P(\theta \mid \alpha)P(\phi \mid \beta)}{P(w \mid \alpha, \beta)} \]

LDA algoritmen (3.3)

Vi bruger en afart af Bayes Theorem til LDA, hvor vi opdaterer modellens parametre (\(\theta, \phi, z\)), ved at observere data, ordene, \(w\):

\[ P(\theta, \phi, z \mid w, \alpha, \beta) = \frac{P(w \mid z, \phi)P(z \mid \theta)P(\theta \mid \alpha)P(\phi \mid \beta)}{P(w \mid \alpha, \beta)} \]

LDA algoritmen (3.4)

Vi bruger en afart af Bayes Theorem til LDA, hvor vi opdaterer modellens parametre (\(\theta, \phi, z\)), ved at observere data, ordene, \(w\):

\[ P(\theta, \phi, z \mid w, \alpha, \beta) = \frac{P(w \mid z, \phi)P(z \mid \theta)P(\theta \mid \alpha)P(\phi \mid \beta)}{P(w \mid \alpha, \beta)} \]

Dette sker ved inferens, hvor algoritmen ser på data (tekster) og finder skjulte mønstre i ordforekomster.

Formlen beskriver, hvordan LDA bruger data (ordene i dokumenterne) og tidligere antagelser (hyperparametrene) til iterativt at finde og opdatere emner og deres fordelinger.

Den gør dette iterativt, indtil sandsynligheden for at observere vores data (givet modellerede emner) bliver maksimal—og resultatet bliver en realistisk, meningsfuld inddeling af store tekstsamlinger i skjulte emner.

Grundlæggende vil vi finde … der forsøger at finde de værdier for θθ, ϕϕ og zz, der gør, at sandsynligheden bliver størst muligt (maksimerer posterior-sandsynligheden).

Hypotetisk output:

Dokument-emne fordeling (θθ):

Én artikel består måske af 70% politik, 20% økonomi og 10% teknologi.

Emne-ord fordeling (ϕϕ):

Emnet "politik" kunne være kendetegnet ved ord som "regering", "valg", "minister".
Emnet "økonomi" ved ord som "inflation", "arbejdsløshed", "vækst".

LDA starter med tilfældige gæt om disse fordelinger. Derefter opdaterer den iterativt:

Hver gang algoritmen går igennem data, får den bedre "gæt".
Dokumenterne stabiliserer sig i klare emne-proportioner, og emnerne stabiliserer sig med klare ord-proportioner.

Til sidst får vi:

Klare emner med meningsfulde ord (emne-ord fordelinger).
Tydelige proportioner af emner i dokumenterne (dokument-emne fordelinger).

LDA algoritmen (3.5)

Forestil dig dette simple eksempel:

Tekst:
”Regeringen vedtog ny lovgivning efter valget.”

Antag, at vi har to emner:

Emne A (politik): ”regering”, ”valg”, ”lovgivning”
Emne B (sport): ”kamp”, ”mål”, ”sejr”

Initialisering:

Vi tildeler tilfældigt emner til ord, fx:
    ”regeringen”: emne B
    ”vedtog”: emne A
    ”ny”: emne B
    ”lovgivning”: emne A
    ”efter”: emne B
    ”valget”: emne B

Iteration:

Vi tager ét ord ad gangen, fjerner dets aktuelle emne og spørger:

Hvor sandsynligt er ordet under hvert emne?
    ”regeringen” optræder mest med ”valg”, ”lovgivning” osv. → politik sandsynligt.
    ”mål” og ”sejr” ses ikke nær ”regeringen” → sport mindre sandsynligt.

Hvor sandsynligt er hvert emne i dette dokument?
    Flest ord handler allerede om politik → emne A (politik) sandsynligt.

Efter flere iterationer flytter ordene sig langsomt over i mere passende emner. Sandsynlighederne bliver mere præcise og stabile. Efter mange iterationer får vi:

”regeringen” → Emne A (politik) med høj sandsynlighed.
”lovgivning” → Emne A (politik)
”valget” → Emne A (politik)
”mål”, ”sejr” → Emne B (sport) (hvis teksten indeholdt dem)

🎯 Konvergens og Resultater

Når algoritmen gentager denne proces mange gange, opstår:

Stabile emne-ord fordelinger:
Vi kan se tydelige emner som fx ”politik”, ”sport”, ”økonomi”, osv.

Klare dokument-emne fordelinger:
Dokumenter får tydelige proportioner af hvert emne.

LDA algoritmen (3.6)

Hvorfor Dirichlet-fordelingen bruges i LDA (Intuition)

I LDA modellerer vi sandsynligheder eller proportioner, fx:

Dokumenter indeholder forskellige emner med forskellige proportioner.
Emner indeholder forskellige ord med forskellige proportioner.

Disse proportioner skal opfylde følgende:

Alle proportioner er positive eller nul.
Alle proportioner skal summere til 1 (fx 40% politik + 30% sport + 30% økonomi = 100%).

Dirichlet-fordelingen er netop designet til at modellere denne slags proportioner, fordi den definerer en sandsynlighedsfordeling over proportioner, der summerer til én.

\[ f(\theta; \alpha) = \frac{\Gamma\left(\sum_{i=1}^{K}\alpha_i\right)}{\prod_{i=1}^{K}\Gamma(\alpha_i)} \prod_{i=1}^{K}\theta_i^{\alpha_i - 1} \]

Fordele og ulemper: opsummering

Strengths of LDA Clear Probabilistic Interpretation:

LDA's explicit probabilistic formulation makes it interpretable and easy to understand mathematically.

Simple Implementation and Efficiency:

Fast, mature implementations (e.g., Gensim, MALLET, Scikit-learn) are readily available.
Scales well to large datasets with Gibbs sampling or variational inference.

Robustness and Flexibility:

Effective even with relatively small datasets.
Clear mechanisms (via priors αα and ββ) to control topic sparsity.

Human-readable Outputs:

Topics represented as easily interpretable distributions over words.

Weaknesses of LDA Bag-of-Words Limitation:

LDA disregards word order and semantics, relying solely on word frequencies and co-occurrences.
Cannot distinguish nuanced semantic differences or polysemy (words with multiple meanings).

Sensitive to Hyperparameters and Number of Topics:

Choosing the number of topics KK and hyperparameters αα and ββ often involves trial-and-error or heuristics.

Difficulties Handling Short Texts:

Documents with fewer words (e.g., tweets) offer less statistical evidence, resulting in poorer topic quality.

Context Insensitivity:

Unable to leverage linguistic or semantic context. For example, "apple" (fruit vs. company) is ambiguous in LDA.